Câu lạc bộ Thành phố Hồ Chí Minh có hai tiền thân trước đó là Tổng Nha Thương Cảng và Cảng Sài Gòn. Vào ngày 1 tháng 11 năm 1975, Cảng Sài Gòn chính thức được thành lập, trước đó có tên Tổng Nha Thương Cảng.[3]

Cuối năm 2008, lãnh đạo Cảng Sài Gòn tuyên bố không còn kinh phí để duy trì đội bóng. Do chỉ còn nhà tài trợ chính là Tổng công ty Thép Việt Nam, lãnh đạo câu lạc bộ đã đưa ra quyết định đổi tên đội bóng để hoạt động theo mô hình chuyên nghiệp, trong đó, tên hiệu Câu lạc bộ bóng đá Thành phố Hồ Chí Minh được lựa chọn với sự đồng ý chuyển phiên hiệu của đơn vị chủ quản câu lạc bộ này là Công ty TNHH bóng đá Thành phố Hồ Chí Minh và Liên đoàn bóng đá Thành phố Hồ Chí Minh với cái giá 15 tỷ đồng đầu tư cho chính câu lạc bộ.

Quyết định đổi tên đã vấp phải sự phản ứng của Hội cổ động viên đội bóng. Việc đổi tên này gây ít nhiều tiếc nuối và phản đối từ các cổ động viên của đội bóng do luyến tiếc với truyền thống đã gắn liền với cái tên Cảng Sài Gòn. Tuy nhiên, tham vọng của lãnh đạo đội bóng là trở thành câu lạc bộ bóng đá tiêu biểu cho Thành phố Hồ Chí Minh cũng như sự thuận tiện khi thu hút sự trợ giúp từ chính quyền cũng như thu hút tài trợ từ các doanh nghiệp của thành phố. Chính vì vậy, ngày 22 tháng 1 năm 2009, câu lạc bộ đã chính thức đổi tên thành Câu lạc bộ bóng đá Thành phố Hồ Chí Minh, với nhà tài trợ chính cho đội bóng là Công ty Thép Việt Nam.

Theo đa số các cổ động viên thì cái tên "Cảng Sài Gòn" là một tài sản tinh thần và là một thương hiệu mang tầm vóc lịch sử. Hậu quả của việc đổi tên là toàn thể Ban chấp hành Hội Cổ động viên đồng loạt từ chức và giải tán Hội Cổ động viên bóng đá Cảng Sài Gòn. Đây được coi như là sự khẳng định lập trường của người hâm mộ đối với quyết định của lãnh đạo câu lạc bộ. Ảnh hưởng của sự việc này ảnh hưởng đến nỗi lãnh đạo đội bóng phải đi "thuê" người cổ vũ trên khán đài B sân Thống Nhất trong mùa bóng đầu tiên mang tên mới. Thiếu đi sự ủng hộ, đội bóng lại bị rớt hạng một lần nữa ngay trong mùa giải 2009.

Năm 2016, câu lạc bộ bóng đá Thành phố Hồ Chí Minh vô địch hạng nhất quốc gia 2016 và trở lại V. League 1. Tại mùa giải 2017, đội bóng đứng thứ 12 trên bảng xếp hạng.

Năm 2019

Trước khi bước vào mùa giải 2019, HLV Chung Hae-seong, cựu Giám đốc kĩ thuật của Hoàng Anh Gia Lai, đã được Ban lãnh đạo đội bóng đưa về với mục tiêu lọt vào Top 3 V-League 2019. Nhiều người nghi ngờ về năng lực của HLV Chung Hae-seong cũng như năng lực của đội bóng và không ít người nghĩ về viễn cảnh đua trụ hạng của đội bóng này. Dù phải cạnh tranh trực tiếp với Hà Nội, dẫu vậy, đội bóng đạt Á quân sớm trước 2 vòng đấu nhưng thua Hoàng Anh Gia Lai 1-2 trên sân Thống Nhất ở vòng 25.

Đồng thời, đội cũng đồng hạng 3 Cúp Quốc gia (cùng với Becamex Bình Dương) sau trận thua 0-3 trước Hà Nội tại sân Hàng Đẫy.

Năm 2020

Thành phố Hồ Chí Minh trong mùa giải 2020 đã thỏa thuận mượn được Nguyễn Công Phượng đến hết năm.[4] Đến tháng 8, câu lạc bộ tuyển mộ được hai cầu thủ Costa Rica: José Guillermo Ortiz đang khoác áo đội tuyển quốc gia, còn Ariel Francisco Rodríguez là cựu thành viên đội tuyển Costa Rica.[5]

Ngày 25/07/2020, sau trận thua 0–3 trước Hà Nội ở vòng 11 V-League 2020, huấn luyện viên Chung Hae-seong bị điều chuyển làm giám đốc kỹ thuật nhưng không đồng ý và xin rời câu lạc bộ. Tuy nhiên do những bất đồng về thanh lý hợp đồng, huấn luyện viên mới không đến được Việt Nam do dịch bệnh, Chung tiếp tục làm huấn luyện viên đội bóng từ 12 tháng 8.[6]

Kết thúc giai đoạn 1 V-League 2020, Thành phố Hồ Chí Minh xếp hạng 5 với 20 điểm / 13 trận, kém đội đầu bảng Sài Gòn 4 điểm, ở giai đoạn 2 được vào nhóm 8 đội dẫn đầu thi đấu tiếp tranh ngôi vô địch.[7]

Ngày 7/11/2020, sau trận hoà kịch tính 1-1 trước Becamex Bình Dương ở sân nhà Thống Nhất, câu lạc bộ cán đích ở vị trí thứ 5, trong đó ở giai đoạn 2 câu lạc bộ đã đánh bại Hoàng Anh Gia Lai 2-1.